Nhân khi anh em Tây Sơn hiềm khích đánh nhau, Nguyễn Phúc Ánh đang lưu vong ở Xiêm lập tức trở về gây dựng lại (tháng 8 năm 1787). Được các địa chủ lớn ở Nam Bộ ủng hộ, quân Nguyễn nhanh chóng mạnh lên.

Thấy Nguyễn Phúc Ánh sắp kéo đến đánh Gia Định, Nguyễn Văn Lữ sợ hãi mang quân bản bộ chạy ra Biên Hoà bỏ thành Gia Định cho Phạm Văn Tham giữ. Việc ông rút lui ít nhiều đã làm giảm ý chí chiến đấu của quân Tây Sơn ở lại. Sau một thời gian thấy thế quân Nguyễn quá mạnh và có lẽ lúc đó đã mang bệnh trong người, ông không dám tham chiến mà theo đường biển rút thẳng về Quy Nhơn.

Theo các sử gia nhà Nguyễn, khi Nguyễn Văn Lữ rút ra Biên Hoà, Nguyễn Phúc Ánh dùng kế của tướng Tống Phúc Đạm ly gián hai người, bắt chước theo lối chữ của Nguyễn Văn Nhạc, viết bức thư có nội dung gửi cho Nguyễn Văn Lữ nói: Phạm Văn Tham là người của Nguyễn Văn Huệ nên sai Nguyễn Văn Lữ giết Phạm Văn Tham đi. Bức thư có nội dung như vậy nhưng Ánh lại cố ý gửi "nhầm" cho Phạm Văn Tham. Tham đọc thư sợ bị giết nên sai người giong thuyền, giương cờ hiệu màu trắng là màu cờ của quân Nguyễn Phúc Ánh khiến Nguyễn Văn Lữ hoảng sợ, tưởng Tham đã hàng Ánh rồi. Nghĩ mình đơn độc ở Nam bộ không có đủ khả năng xung trận chống địch, ông rút quân về. Năm sau, Phạm Văn Tham ra hàng, thành Gia Định lại trở về với nhà Nguyễn.

Không lâu sau khi trở về Quy Nhơn, cuối năm 1787, Đông Định vương Nguyễn Văn Lữ qua đời. Nguyễn Văn Lữ làm Đông Định vương chưa được 1 năm. Sử sách không nhắc gì tới gia quyến của ông. Có nhiều tài liệu cho rằng sau khi thất thủ Gia Định, ông về Quy Nhơn gặp anh chịu tội rồi ra đi phiêu bạt,dùng tài chữa bệnh giúp người, cuối cùng thế nào không ai biết rõ.